线性代数

矩阵的定义

定义对于 ， 实值矩阵(Matrix) 是由元素 组成的 元组

其中

按惯例

• 称为行 row

• 成为列 column

这两个特殊的矩阵也成为行向量(row vectors) 或 列向量 (column vectors)

等价： 可以等价表示为

通过堆叠，矩阵 可以表示为 长向量

加法和乘法

加法：矩阵

乘法：矩阵

为了计算元素，我们将的第行的元素与的第列元素对应相乘，然后求和

• 解析几何中：称之为 行和列的 点积（dot product）

用符号 表示矩阵乘法 即

备注 ：矩阵只有在“相邻”维度匹配时才能相乘。例如， 矩阵A 可以与矩阵B相乘，且只能从左侧相乘

的列数要等于 的行数，产生的新矩阵是基于的行数和的列数

所以 不成立

备注 ：矩阵的乘法不是逐元计算，即

这种逐元素的乘法通常出现在编程语言中，称之为 Hadamard 积 (Hadamard Product)

例：

矩阵乘法是左乘， ,维度问题

单位矩阵定义

在 中，单位矩阵(Identity Matrix)

对角线为 1， 其他为0

已经定义了矩阵乘法、矩阵加法和单位矩阵，让我们看看矩阵的一些性质

• 结合律 （Associativity）

• 分配律 （Distributivity）

• 与单位矩阵乘法 ：对于

特解和通解

考虑方程组

这个方程组有两个方程和四个未知数。因此，一般来说，我们可以得到无穷多个解。这个方程组的形式为极简形式，前两列都由一个0和一个1组成.

目标是找到标量 ，使得

• 其中 为矩阵的第 列

• 为方程组的右侧

对于该方程组，可通过取 第一列的42倍 和第二列的8倍得到解

• 关键在于 ,对于

因此，方程组的一个解为 ，这个解称为特解 (particular solution or special solution)

然而，这并不是这个线性方程组的唯一解。要得到其他解，我们需要创造性地使用矩阵的列以非平凡( non-trivial) 的方式生成向量 ： 特解与方程组的矩阵相乘，然后等式两边同时加上不会影响该等式。

我们使用前两列（它们的形式非常简单）表示第三列

则有 ，得到解 ，这个解按任意 的缩放都会产生 向量，即：

同样地，我们使用前两列表示方程组中矩阵的第四列，对于任意生成另一组的非平凡版本

把所有的解放在一起，得到方程组的所有解，称为通解(general solution) ，以集合形式表示为

备注

线性方程组的一般求解包括以下三个步骤

• (1) 找到 的特解

• (2) 找到 的所有解

• (3) 结合步骤 (1)(2)中的解，得到通解

• 注意：特解和通解都不是唯一的

上例中的线性方程组很容易求解，因为方程组中的矩阵有特别简便的形式，这使我们能够通过代值检验得到特解和通解。然而，一般方程组不会是这种简单的形式。

幸运的是，有一种构造性的算法可以将任何线性方程组转换成这种特别简单的形式：高斯消元法( Gaussian elimination)。 高斯消元法的关键是对线性方程组进行初等变换 ，将方程组转换成简单形式。然后，我们可以用以上三个步骤求解线性方程组

初等变换

求解线性方程组的关键是初等变换(elementary transformations) ，它能在解集保持不变的前提下，将方程组变换为更简单的形式

• (1) 两个方程（表示方程组的矩阵的行）的交换

• (2) 方程(行)乘一个常数

• (3) 两个等式相加

备注 ：步骤(1) (2)(3)可以组合

例子

对于 ，求下列方程组的所有解

我们首先把这个方程组转换成紧致的矩阵表示 ，不再显式地提及变量 ，

而是建立**增广矩阵(augumented matrix)**形式为

我们用垂直线把方程组的左手边和右手边分开。

交换第一行 和第三行 得到：

我们使用上式中指定的变换后，得到

我们用 来表示增广矩阵的初等变换 $$ \left[ \begin{rrrrr|r} 0 & 0 & -1 & -2 & 3 & a \end1 & -2 & 1 & -1 & 1 & 0 \0 & 0 & -1 & 1 & -3 & 2 \0 & 0 & 0 & -3 & 6 & -3\ \right] \quad \begin -R_2 - R_3 \end\\\

\ \rightsquigarrow \left[ \begin{rrrrr|r} 0 & 0 & 0 & 0 & 0 & a+1 \end1 & -2 & 1 & -1 & 1 & 0 \0 & 0 & -1 & 1 & -3 & 2 \0 & 0 & 0 & -3 & 6 & -3\ \right] \quad \begin \end\\cdot (-1) \\cdot (-\frac{1}{3})\\

\ \rightsquigarrow \left[ \begin{rrrrr|r} 0 & 0 & 0 & 0 & 0 & a+1 \end1 & -2 & 1 & -1 & 1 & 0 \0 & 0 & 1 & -1 & 3 & -2 \0 & 0 & 0 & 1 & -2 & 1\ \right] $$

这个（增广）矩阵现在变成一种简便的形式——行阶梯形式（row-echelon form，REF） 。将这个紧凑的表示法还原为显式表示法，我们得到

仅当 时方程组才有解。一个特解为

通解

下面，我们将详细介绍一种获得线性方程组特解和通解的构造性方法

备注 ：主元和阶梯结构

行的前导系数 （leading coefficient，从左开始的第一个非零数）称为主元(Pivots ) ，并且始终严格地位于上方行的主元的右侧。因此， 任何行阶梯型(row-echelon form)的方程组都具有“阶梯(staircase)”结构。

定义 行阶梯型

一个矩阵为**行阶梯型(row-echelon form)**矩阵需满足：

• 所有只包含零的行都位于矩阵的底部；相应地，所有至少包含一个非零元素的行都位于只包含零的行的顶部。

• 只看非零行，从左边开始的第一个非零数字（也称为主元或前导系数）总是严格地位于它上面的行主元的右边。

备注 ：基本变量和自由变量

行阶梯型的主元对应的变量称为基本变量(basic variables) ，其他变量称为自由变量(free variables)。

例如，对于

其中

• 为基本变量

• 为自由变量

备注： (求特解)

当我们需要确定一个特解时，行阶梯型方便了我们求解。为了做到这一点，我们用主元列来表示方程组的右侧

即 ，其中, 为主元所在列，即主元列

很容易确定，我们可以从最右边的主元列开始，向左一 一确定

在上一个例子中，试图找到 ，使得

从这里，我们相对直观地发现 。而对于非主元列，我们隐式地将其系数设置为 0 。因此得到的特解为

备注 ：行最简阶梯型

一个方程组为行最简阶梯型 (Reduced Row Echelon Form ，也称为 row-reduced echelon form 或 row canonical form )需要满足

• 它是行阶梯型

• 每个主元都为1

• 主元所在列是唯一的非0项

备注 ：高斯消元法

高斯消元法(Gaussian elimination )是一种通过初等变换将线性方程组转化为行最简阶梯型的算法。

例 2.7行最简阶梯型

有以下行最简阶梯型矩阵(粗体1为主元)：

求的解的关键是非主元列 ，我们需要将其表示为主元列的（线性）组合 ；而行最简阶梯型使这一点相对简单。我们用左边的主元列的倍数和来表示非主元列

第二列是第一列的3倍（我们可以忽略第二列右边的主元列）。因此，为了得到 ，我们需要将第一列的三倍减去第二列。

现在，我们来看看第二个非主元列——第五列

第五列可以由第一个主元列的3倍、第二个主元列的9倍和第三个主元列的−4倍表示。我们需要根据主元列的索引，并将第五列转换为第一列的 3倍、第二列（非主元列）的0倍、第三列(第二个非主元列)的9倍和第四列的** **倍（即第三主元列）之和，然后减去 第五列得到 。最后，可以求解这个齐次方程组。

总之： 的所有解都由下式给出

Minus-1技巧

下面，我们将介绍一个实用的技巧来求解齐次线性方程组 的解

其中 ，

首先，我们假设 是行最简阶梯型 ，且没有只包含零的行，即：

其中为随机的实数， 每行的第一个非0项目必须为1，相应列中的其他项都为0

含主元的列 （用粗体标记）是标准单位向量 。

通过添加 行将矩阵扩展成 -矩阵

扩展所添加行的形式为

所以增广矩阵 的对角线包含 或 。然后，包含 作为主元的列是齐次方程 的解。

更准确的说，这些列构成 的解空间的基，我们也将其称之为 核 或 零空间

例子

对于之前的矩阵

现在我们通过在对角线上的主元缺失的地方添加 的矩阵

我们可以通过取 对角线上包含 的列，立即得到 的解

• 与之前例子的结果相同

求逆

为了计算 的逆 ，我们需要找到满足 的矩阵 。 。

我们可以把它写成一组线性方程组 并求解 。我们使用增广矩阵表示法来表示这组线性方程组，并对其做以下变换：

这意味着，如果我们把增广方程组简化成行最简阶梯型，我们就可以在方程组的右手边读出改矩阵的逆。因此确定矩阵的逆，相当于求解线性方程组。

例2.9 利用高斯消元法求矩阵的逆

求

的逆

解：

写出增广矩阵

并利用高斯消元法将其化为行最简阶梯型

这样，所需的逆矩阵就在其右侧给出了

可以通过 来验证是否正确

求解线性方程组的算法

在下文中，我们将简要讨论 形式的线性方程组的求解方法。

• 这里我们假设存在解

• 如果没有解，需要求助于近似的解的办法，后面的线性回归，这里不作介绍

如果我们可以确定 ，那么 的解就可以表示为 。然而，只有当A是一个方阵并且可逆时，这种方法才可行，但通常情况并非如此。不过，在适当的假设下 （即需要有线性独立的列 ），我们可以使用以下变换

即使用Moore-Penrose伪逆 （Moore-Penrose pseudo-inverse） 来确定 的Moore-Penrose伪逆解

，这也对应最小范数最小二乘法的解

这种方法的缺点是需要对矩阵的积和 的逆进行大量运算。此外，出于数值精度的原因，通常不建议计算逆或伪逆。因此在下文中，我们将简要讨论求解线性方程组的其他方法。

高斯消元法在计算行列式、检查向量集是否线性独立、计算矩阵的逆、计算矩阵的秩和确定向量空间的基时起着重要的作用。高斯消元法是一种直观而有建设性的方法来解决一个含成千上万变量的线性方程组。然而，对于具有百万变量的方程组，这是不切实际的，因为所需的运算量是按联立方程的数量的立方增长的。

在实践中，许多线性方程组都是通过定常迭代法(stationary iterative methods) 间接求解的，如Richardson方法、Jacobi方法、Gauß-Seidel方法和逐次超松弛方法，或Krylov子空间方法，如共轭梯度、广义最小残差或双共轭梯度。

设 是的解。这些迭代方法的关键思想是建立一下形式的迭代

通过寻找适当的和 ，在每次迭代中减小残差 直至收敛到 。

引入范数 ，它允许我们计算向量之间的相似性